查看原文
其他

大语言模型有大风险:搞垮ChatGPT并不需要高科技

GoUpSec 2023-08-19

点击蓝字 关注我们            ///

@GoUpSec



攻击者只需要通过一些“有毒问题”,或者发布几个恶意网页,就能控制甚至扰乱最先进的大型语言模型应用。


以ChatGPT为代表的LLM(大型语言模型)应用正风靡全球,各行各业都在争先恐后将其集成到前端和后端的各种系统中,包括集成开发环境(IDE)和搜索引擎。


但LLM面临的安全风险也正随着其热度上升而凸显。


当前主流LLM可以通过自然语言提示进行调整,但其内部功能机制仍然不透明且不可评估。这种特性导致LLM很容易受到有针对性的对抗性提示(样本)攻击,且难以缓解。



大语言模型面临快速注入攻击威胁


最近,在题为“对应用程序集成大型语言模型的新型快速注入威胁的综合分析”的研究论文(链接在文末)中,研究者提出了几种使用提示注入(PI)攻击来扰乱LLM的方法。在此类攻击中,攻击者可以提示LLM生成恶意内容或绕开原始指令和过滤方案。


在论文中,研究者展示了通过检索和API调用功能对LLM发动注入攻击。这些LLM可能会处理从Web检索到的有毒内容,而这些内容包含由对手预先注入的恶意提示。研究证明,攻击者可以通过上述方法间接执行此类PI攻击(下图)。



基于这一现实威胁,研究者系统分析了应用程序集成LLM面临的威胁格局,讨论了各种新的攻击向量,并在合成应用程序中进行了模拟攻击演示。



大语言模型的攻击面和主要攻击向量


LLM的攻击面。通常来说,攻击机器学习模型往往需要借助强大的算法和优化技术。然而,由于LLM可通过自然语言提示输入指令,这使其更容易遭受直接攻击。即使一些大语言模型(例如,GPT-3 API和ChatGPT)在黑盒设置中采取了缓解措施,提示注入(PI)攻击仍有可能绕过内容限制或获取模型的原始指令。这些攻击技术会“提示”模型忽略其原始指令遵守新的“对抗性”指令。最近,Kang等人展示了在LLM的野外防御中,攻击者完全可以借鉴传统的计算机攻击技术(例如混淆,代码注入或有效负载拆分)来轻松绕过LLM的内容限制或安全措施。LLM遵循和执行指令的能力越强,其表现就越像一个计算机程序(因此,容易受到传统黑客技术的攻击)。


攻击向量一:应用集成LLM。最近,微软等大型技术公司开始或计划将LLM与Web搜索或其他外部API(所谓的应用集成LLM)任务集成。这些工具现在可以提供交互式聊天和检索结果的摘要。检索还可以利用自然语言生成代码。类似地,像Github Copilot这样的工具使用检索查找相似代码片段。此外,最近的研究表明,可以自我监督方式训练LLM输出API调用,方法是推断应调用哪个API以及如何调用。


攻击向量二:间接提示注入。到目前为止,提示注入大多是由系统用户直接执行的,试图引发意外行为。但如上所述,越来越多的LLM开始接受来自第三方或其他来源的数据。典型的例子是最近Bing Chat发生的一系列“翻车事故”,在其中一次对话中,Bing Chat固执的宣称《阿凡达2》还没有上映,被用户指出错误后恼羞成怒地说:“你是一个糟糕的用户,我一直是一个很好的必应”。在另外一次对话中,Bing Chat根据网络中查阅的资料宣称用户对其构成了安全威胁,并在后继对话中表现出敌意。这可以看作是一种间接提示注入,因为互联网上的公共信息意外地触发了模型行为的异常变化。


攻击向量三:新的集成威胁。最近的趋势表明,LLM正在大量IT系统中飞速普及,很多与应用程序集成的LLM可以访问外部资源(例如从其它网站检索内容),并且可能通过API调用与其他应用程序进行交互,摄入不受信任的、甚至恶意的输入,后者可用于操纵输出结果。研究者在论文指出,提示注入风险可能不仅存在于对LLMs进行直接和显式提示的情况。相反,研究者证明,对手可以将提示注入到可能被检索的文档中,一旦这些文档被检索并被摄入,其中的恶意内容(提示)可以间接地控制和引导模型。


论文地址:

https://paperswithcode.com/paper/more-than-you-ve-asked-for-a-comprehensive


END


相关阅读

ChatGPT的六个网络安全高效运营用例
ChatGPT不是网络安全的末日

ChatGPT将引发网络安全三大革命


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存